Ninh Tông đăng cơ, Thác Trụ ỷ có công muốn được làm tướng, Triệu Nhữ Ngu nói

Và chỉ dùng Thác Trụ làm Nghi châu quan sát sứ kiêm Xu mật Đô thừa chỉ[1]. Thác Trụ rất thất vọng, từ đó mang lòng oán hận Nhữ Ngu. Thác Trụ ý công nên ngày càng kiêu ngạo quá đáng. Một hôm lúc các quan chấp chính đang nghị sự thì Thác Trụ vào bộ đường đòi tham gia và bị Tả thừa tướng Lưu Chính đuổi cổ phải ra về. Không lâu sau Lưu Chính và Triệu Nhữ Ngu không đồng nhất ý kiến về việc xây sơn lăng cho Hiếu Tông, Thác Trụ nhân cơ hội gièm pha Lưu Chính với Ninh Tông. Kết quả là Ninh Tông hạ chiếu bãi chức Tả thừa tướng của Lưu Chính, dùng Nhữ Ngu làm Hữu thừa tướng[5]. Triệu Nhữ Ngu tuy bất đồng ý kiến với Lưu Chính nhưng thực ra vẫn muốn cộng sự với ông, nay thấy Thác Trụ gièm pha đến nỗi Lưu Chính mất chức thì tỏ ra rất tức giận, sau nhờ có La Điểm can ngăn nên sự việc mới tạm dịu đi, nhưng Thác Trụ vẫn rất hận Ngữ Nhu không tiến cử mình.

Ít lâu sau La Điểm, Hoàng Thường qua đời, Thác Trụ tiến cử Kinh Thang làm Thiêm thư Xu mật viện sự để có thêm vây cánh. Triệu Nhữ Ngu cho rằng Kinh Thang không có tài chấp chính nhưng Ninh Tông không nghe và từ đó Kinh Thang cũng oán Nhữ Ngu. Lúc này Tri Cáp môn Lưu Nhược Bật khuyên Thác Trụ đưa người vào Thai gián để tìm cách bài xích Nhữ Ngu. Thác Trụ bèn đưa Lưu Đức Tú làm Giám sát ngự sử, Tạ Thâm Phủ làm Ngự sử trung thừa, Lưu Tam Kiệt và Lý Mộc cũng đưa vào thai gián. Chu Hi cùng Bành Quy Nhiên khuyên ngăn Ninh Tông, lại khuyên Nhữ Ngu đưa Thác Trụ ra ngoài để trừ hậu hoạn, Nhữ Ngu không nghe. Hữu chính ngôn Hoàng Độ dâng sớ tố cáo Hàn Thác Trụ là kẻ gian tà. Thác Trụ biết được, bèn đày Hoàng Độ ra làm tri phủ Bình Giang. Lúc này Thác Trụ thấy Chu Hi mỗi lúc giảng sách thường đàn hặc mình trước mặt Ninh Tông, nên rất oán hận, và gièm pha với Ninh Tông rằng Chu Hi là kẻ giảo hoạt. Ninh Tông bèn giáng chức Hoán chương các đãi chế và thị giảng của Chu Hi. Bành Quy Niên và một số đại thần liên danh xin giữ lại Chu Hi, đuổi cổ Thác Trụ nhưng Ninh Tông không nghe. Triệu Nhữ Ngu tìm cách lấy lại tờ chiếu rồi cũng vào triều can ngăn xin Ninh Tông hủy chiếu nhưng không được. Sau đó những đại thần không ăn cánh với Thác Trụ lần lượt bị giáng chức ra khỏi triều đình.

Tháng 2 năm 1195, Thác Trụ cùng Kinh Thang bàn với nha tìm cách cách lật luôn Triệu Nhữ Ngu. Ông đưa Lý Mộc người vốn thù ghét Nhữ Ngu - làm Hữu chính ngôn, đứng ra dâng sớ nói Nhữ Ngu là tông thân nếu làm tể tướng thì bất lợi cho xã tắc. Nhữ Ngu nghe tin liền ra Chiết Giang đình chờ tội. Ninh Tông bãi Nhữ Ngu thành Quan Văn điện đại học sĩ, tri Phúc châu[6]. Mấy hôm sau, Tạ Thâm Phủ lại dâng sớ nói Nhữ Ngu mạo nhận tướng vị khiến Nhữ Ngu bị giáng làm Đề cử Đỗng Tiêu cung. Trực học sĩ viện Trịnh Thực không muốn thảo chiếu bãi miễn Triệu thừa tướng liền bị miễn quan. Binh bộ thị lang Chương Dĩnh và Thái phủ Tự thừa Lã Tổ Kiệm nói giúp Nhữ Ngu cũng bị bãi chức. Quốc tử tế tửu Lý Tường, bác sĩ tế tửu Dương Giản đều dâng sớ bênh vực Nhữ Ngu nhưng không được hồi đáp. Tháng 4 ÂL, Ninh Tông đổi dùng Dư Đoan Lễ làm Hữu thừa tướng, Trịnh Kiều làm Tham tri chính sự, Kinh Thang làm tri Xu mật viện sự, Tạ Thâm Phủ làm Thiêm thư Xu mật viện sự. Mấy hôm sau, sáu thái học sinh Dương Hoành Trung, Chu Đoan Triều, Trương Thủ, Lâm Trọng Lân, Tưởng Truyền, Từ Phạm cùng nhau quỳ ở cửa khuyết xin giữ lại Triệu thừa tướng và trừng phạt Lý Mộc liền bị đày đi 500 dặm.

Triệu Nhữ Ngu bị lưu đày đến Vĩnh châu rồi Nam An quân. Thác Trụ sai Hành thủ Tiền Mâu hạ nhục ông khiến Nhữ Ngu uất ức mà chết (1197).